Ngày 30 tháng 11 năm 1936 là ngày thảm họa cuối cùng. Trong hàng giờ, lửa thiêu trụi tất cả những gì tiêu biểu cho sự sáng tạo vô giới hạn và một đế quốc hùng mạnh. Cung điện bị phá hủy, ngọn lửa được nhìn thấy từ xa hàng dặm bừng sáng cả bầu trời đêm. Giống như vào năm 1866 khi cánh ngang phía bắc bị thiêu rụi, tòa nhà không có đủ bảo hiểm để đền bù vào chi phí tái xây dựng.

Tháp Nam được nhà tiên phong truyền hình John Logie Baird dùng thử các thí nghiệm cơ khí về truyền hình của ông và gần như các công trình của ông bị lửa thiêu hủy. Winston Churchill trên đường về nhà từ Hạ viện Anh nói, "Đây là sự kết thúc của một thời đại".

Tất cả những gì còn lại là hai tháp nước, và chúng bị tháo dở xuống trong Chiến tranh thế giới thứ hai. Lý do được nêu ra là vì Đức có thể dùng chúng làm điểm mốc bay đến London. Tháp phía bắc bị đặt chất nổ trong khi tháp phía nam được tháo xuống vì nó nằm gần các tòa nhà khác. Sau chiến tranh, nơi này được sử dụng cho một số mục đích. Giữa năm 1953 và 1973 một đường đua xe hơi diễn ra tại nơi này với sự hỗ trợ của Hội đồng Đại London.

Quỹ Cung điện Thủy tinh được thành lập năm 1979 để giữ cho ký ức và sự tôn kính sống mãi về giai đoạn này trong lịch sử Vương quốc Anh. Thảo luận về tương lại của nó tiếp tục, các kế hoạch được đưa ra nhưng chưa có kế hoạch nào được đưa vào để thực hiện.